Mapping Abstract Visual Feedback to a Dimensional Model of Emotion

Recent HCI research has looked at conveying emotions through non-visual modalities, such as vibrotactile and thermal feedback. However, emotion is primarily conveyed through visual signals, and so this research aims to support the design of emotional visual feedback. We adapt and extend the design of the "pulsing amoeba" [29], and measure the emotion conveyed through the abstract visual designs. It is a first step towards more holistic multimodal affective feedback combining visual, auditory and tactile stimuli. An online survey garnered valence and arousal ratings of 32 stimuli that varied in colour, contour, pulse size and pulse speed. The results support previous research but also provide new findings and highlight the effects of each individual visual parameter on perceived emotion. We present a mapping of all stimulus combinations onto the common two-dimensional valence-arousal model of emotion

Ultrasound Feedback for Mid-air Gesture Interaction in Vibrating Environment

Mid-air ultrasound skin stimulation is a known technology used to provide haptic feedback for touchless communication. Even though some in-car interaction already takes place with mid-air gestures, the utilization of this type of feedback is still uncommon. In this study we evaluated how environmental vibration affects the recognition of ultrasound haptic feedback exposed to the driver’s hand.publishedVersionPeer reviewe

Origo Steering Wheel: Improving Tactile Feedback for Steering Wheel IVIS Interaction using Embedded Haptic Wave Guides and Constructive Wave Interference

Automotive industry is evolving through “Electrification”, “Autonomous Driving Systems”, and “Ride Sharing”, and all three vectors of change are taking place in the same timeframe. One of the key challenges during this transition will be to present critical information collected through additional onboard systems, to the driver and passengers, enhancing multimodal in-vehicle interaction. In this research authors suggest creating embedded tactile-feedback zones on the steering wheel itself, which can be used to relay haptic signals to the driver with little to no visual demand. Using “Haptic Mediation” techniques such as 3D-printed Embedded Haptic Waveguides (EHWs) and Constructive Wave Interference (CWI), the authors were able to provide reliable tactile feedback in normal driving environments. Signal analysis shows that EHWs and CWI can reduce haptic signal distortion and attenuation in noisy environments and during user testing, this technique yielded better driving performance and required lower cognitive load while completing common IVIS tasks.acceptedVersionPeer reviewe

Where's My Cellphone: Non-contact based Hand-Gestures and Ultrasound haptic feedback for Secondary Task Interaction while Driving

Drivers regularly use their smartphones to perform secondary tasks while driving, which can negatively impact traffic safety. In such complex interaction, multimodal feedback has been associated with lowering driver distraction. We investigated four methods for completing a phone-based secondary task while driving: smartphone in hand, smartphone in a rack, buttons on the steering wheel with Head-up-display (HUD), and mid-air gestures with an ultrasound haptic feedback and a HUD. Participants (N=16) drove the Lane Change Test (LCT) simulator with each method to complete predefined secondary tasks. To measure performance in primary task, we recorded lane deviations and for secondary task we measured response times and errors. Additionally, the participants filled in the NASA-TLX questionnaire and ranked each method according to their preferences. The results showed that the performance and preference for the hand and rack conditions were similar, while performance with buttons and gestures was worse, even with ultrasound haptic feedback, than in hand and rack conditions. The results highlight the importance of rigorous user testing when introducing new modalities for in-vehicle interaction to enhance primary and secondary task performance.acceptedVersionPeer reviewe

Kasvokäyttöliittymän katseenseurantasignaalin suodatus Kalman-suotimella

Tutkimuksen tarkoituksena oli selvittää, millä tavoin Kalman-suodin vaikuttaa osoitus- ja valintatapahtumien nopeuteen ja tarkkuuteen verrattuna pupillintunnistusalgoritmiin liitettyyn yksinkertaiseen signaalinsuodatusmenetelmään. Osoitus- ja valintalaitteena tutkimustehtävissä oli uudenlainen kasvokäyttöliittymän prototyyppilaite, jolla kohteita osoitetaan katseella ja kohteet valitaan aktivoimalla kasvolihaksia tahdonalaisesti. Katseenseurantasignaalia suodatettiin tehtävien tekemisen aikana joko pupillintunnistusalgoritmiin liitetyllä yksinkertaisella signaalinsuodatusmenetelmällä tai Kalman-suotimella. Tutkimukset suoritettiin osittain kontrolloiduissa toimisto-oloissa ja kontrolloiduissa laboratorio-oloissa. Osallistujat suorittivat yksinkertaisia tehtäviä osoittamalla ja valitsemalla erikokoisia ja eri etäisyyksillä sijaitsevia kohteita. Tehtävien tekemisen lisäksi osallistujat vastasivat haastattelukysymyksiin, joissa he arvioivat suoritusten nopeutta, tarkkuutta ja helppoutta. Varsinaisen tutkimuksen tulokset osoittivat, että Kalman-suotimen kanssa keskimääräiset osoitusajat olivat 9,4 % nopeammat kuin ilman suodinta, suorituksen tehokkuus oli 27,1 % parempi suotimen kanssa kuin ilman suodinta ja uudelleenfokusointitapahtumia oli 10,8 % vähemmän suotimen kanssa kuin ilman suodinta. Suoritus parani Kalman-suotimen kanssa työskennellessä kolmella suurimmalla osoitusetäisyydellä (260, 450 ja 520 millimetriä). Virheitä tehtiin 2,0 % enemmän suotimen kanssa kuin ilman suodinta. Osallistujat arvioivat suorituksen olleen nopeampi, tarkempi ja helpompi Kalman-suotimen ollessa käytössä. Kalman-suotimen käytöstä kasvokäyttöliittymän katseenseurantasignaalin suodatukseen voi siis olla hyötyä ainakin kolmella suurimmalla osoitusetäisyydellä. Asiasanat:katseenseuranta, kasvolihasaktivaatio, multimodaalinen vuorovaikutus, kasvokäyttöliittymä, Kalman-suodi

Kasvokäyttöliittymän katseenseurantasignaalin suodatus Kalman-suotimella

Tutkimuksen tarkoituksena oli selvittää, millä tavoin Kalman-suodin vaikuttaa osoitus- ja valintatapahtumien nopeuteen ja tarkkuuteen verrattuna pupillintunnistusalgoritmiin liitettyyn yksinkertaiseen signaalinsuodatusmenetelmään. Osoitus- ja valintalaitteena tutkimustehtävissä oli uudenlainen kasvokäyttöliittymän prototyyppilaite, jolla kohteita osoitetaan katseella ja kohteet valitaan aktivoimalla kasvolihaksia tahdonalaisesti. Katseenseurantasignaalia suodatettiin tehtävien tekemisen aikana joko pupillintunnistusalgoritmiin liitetyllä yksinkertaisella signaalinsuodatusmenetelmällä tai Kalman-suotimella. Tutkimukset suoritettiin osittain kontrolloiduissa toimisto-oloissa ja kontrolloiduissa laboratorio-oloissa. Osallistujat suorittivat yksinkertaisia tehtäviä osoittamalla ja valitsemalla erikokoisia ja eri etäisyyksillä sijaitsevia kohteita. Tehtävien tekemisen lisäksi osallistujat vastasivat haastattelukysymyksiin, joissa he arvioivat suoritusten nopeutta, tarkkuutta ja helppoutta. Varsinaisen tutkimuksen tulokset osoittivat, että Kalman-suotimen kanssa keskimääräiset osoitusajat olivat 9,4 % nopeammat kuin ilman suodinta, suorituksen tehokkuus oli 27,1 % parempi suotimen kanssa kuin ilman suodinta ja uudelleenfokusointitapahtumia oli 10,8 % vähemmän suotimen kanssa kuin ilman suodinta. Suoritus parani Kalman-suotimen kanssa työskennellessä kolmella suurimmalla osoitusetäisyydellä (260, 450 ja 520 millimetriä). Virheitä tehtiin 2,0 % enemmän suotimen kanssa kuin ilman suodinta. Osallistujat arvioivat suorituksen olleen nopeampi, tarkempi ja helpompi Kalman-suotimen ollessa käytössä. Kalman-suotimen käytöstä kasvokäyttöliittymän katseenseurantasignaalin suodatukseen voi siis olla hyötyä ainakin kolmella suurimmalla osoitusetäisyydellä. Asiasanat:katseenseuranta, kasvolihasaktivaatio, multimodaalinen vuorovaikutus, kasvokäyttöliittymä, Kalman-suodi

Kasvokäyttöliittymän katseenseurantasignaalin suodatus Kalman-suotimella

Tutkimuksen tarkoituksena oli selvittää, millä tavoin Kalman-suodin vaikuttaa osoitus- ja valintatapahtumien nopeuteen ja tarkkuuteen verrattuna pupillintunnistusalgoritmiin liitettyyn yksinkertaiseen signaalinsuodatusmenetelmään. Osoitus- ja valintalaitteena tutkimustehtävissä oli uudenlainen kasvokäyttöliittymän prototyyppilaite, jolla kohteita osoitetaan katseella ja kohteet valitaan aktivoimalla kasvolihaksia tahdonalaisesti. Katseenseurantasignaalia suodatettiin tehtävien tekemisen aikana joko pupillintunnistusalgoritmiin liitetyllä yksinkertaisella signaalinsuodatusmenetelmällä tai Kalman-suotimella. Tutkimukset suoritettiin osittain kontrolloiduissa toimisto-oloissa ja kontrolloiduissa laboratorio-oloissa. Osallistujat suorittivat yksinkertaisia tehtäviä osoittamalla ja valitsemalla erikokoisia ja eri etäisyyksillä sijaitsevia kohteita. Tehtävien tekemisen lisäksi osallistujat vastasivat haastattelukysymyksiin, joissa he arvioivat suoritusten nopeutta, tarkkuutta ja helppoutta. Varsinaisen tutkimuksen tulokset osoittivat, että Kalman-suotimen kanssa keskimääräiset osoitusajat olivat 9,4 % nopeammat kuin ilman suodinta, suorituksen tehokkuus oli 27,1 % parempi suotimen kanssa kuin ilman suodinta ja uudelleenfokusointitapahtumia oli 10,8 % vähemmän suotimen kanssa kuin ilman suodinta. Suoritus parani Kalman-suotimen kanssa työskennellessä kolmella suurimmalla osoitusetäisyydellä (260, 450 ja 520 millimetriä). Virheitä tehtiin 2,0 % enemmän suotimen kanssa kuin ilman suodinta. Osallistujat arvioivat suorituksen olleen nopeampi, tarkempi ja helpompi Kalman-suotimen ollessa käytössä. Kalman-suotimen käytöstä kasvokäyttöliittymän katseenseurantasignaalin suodatukseen voi siis olla hyötyä ainakin kolmella suurimmalla osoitusetäisyydellä. Asiasanat:katseenseuranta, kasvolihasaktivaatio, multimodaalinen vuorovaikutus, kasvokäyttöliittymä, Kalman-suodi

Ears Outside the Car : Evaluation of Binaural Vehicular Sounds and Visual Animations as Driver's Blind Spot Indicators

Driving demands a significant amount of visual attention, which may impair drivers’ ability to detect and react to visual information such as blind spot warnings. This online pilot study (N = 242) evaluated the perception of binaural auditory cues and concurrent visual animations about overtaking vehicles designed to improve drivers’ situational awareness. The results showed that the spatial direction of the sounds was perceived in a high degree of precision, and they were rated as pleasant and natural sounding. Spatial congruency between the two information modalities was accurately perceived with visualizations rated as significantly more reliable blind spot indicators than sounds. The results suggest that spatial direction of binaural sounds can be consistently interpreted both alone and in tandem with visualizations in the given driving scenario. Binaural sounds could enhance drivers’ situational awareness in an eyes-free way to anticipate overtaking vehicles already before they trigger visual blind spot warnings.acceptedVersionPeer reviewe